- 综合排序
- 最热优先
- 最新优先
- 来自专栏测吧测试开发
技术分享 | 数据持久化技术（Java）
image.png 本文节选自霍格沃兹测试学院内部教材 本章介绍 Web 后端开发中数据持久化技术 TKMyBatis。 MyBatis 可以通过简单的 XML 或注解来配置和映射原始类型、接口和 Java POJO（Plain Old Java Objects，普通老式 Java 对象）为数据库中的记录。 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java ，会自动填入在数据库中生成的 id 值。 2021-04-14T09:43:45.018+00:00" } 删除 DELETE http://127.0.0.1:8081/hogwartsUser/15 请求参数 见请求地址中15 响应参数 15 数据持久化技术就先讲到这里啦
83550编辑于 2022-03-14 - 来自专栏大数据成神之路
阿里大数据之路：数据技术篇大总结
统一计算平台 3.2 统一开发平台 3.3 任务调度系统 3.4 特点 四、实时技术 4.1 流式技术架构 4.1.1 数据采集 4.1.2 数据处理 4.1.3 数据存储 4.2 流式数据模型 4.2.1 基于浏览器）日志采集技术方案； UserTrack是APP端（无线客户端）日志采集技术方案。 此类日志是最基础的互联网日志，也是目前所有互联网产品的两大基本指标：页面浏览量（Page View，PV）和访客数（UniqueVisitors，UV）的统计基础。 四、实时技术 4.1 流式技术架构 架构分为数据采集、数据处理、数据存储、数据服务四部分。 4.1.2 数据处理 SQL语义的流式数据分析能力。 流式处理的原理：多个数据入口、多个处理逻辑，处理逻辑可分为多个层级逐层执行。 数据倾斜：数据量非常大时，分桶执行。
1.4K11编辑于 2023-04-07 - 来自专栏加米谷大数据
大数据技术分享：十大开源的大数据技术
大数据已然成为当今热门的技术之一，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点受欢迎的十大开源的大数据技术。 ? 2.Spark——使用简单、支持所有重要的大数据语言（Scala、Python、Java、R）。拥有强大的生态系统，成长迅速，对microbatching/batching/SQL支持简单。 两个最重要的特性是其强大的用户界面和良好的数据回溯工具。堪称大数据工具箱里的瑞士军刀。 ? 4.Apache Hive 2.1——Hive是建立在 Hadoop 上的数据仓库基础构架。 从Spark到NiFi再到第三方插件工具以至于Java到Scala，它都提供了强大的粘合作用。 6.Phoenix—是HBase的SQL驱动。目前大量的公司采用它，并扩大其规模。 9.Apache Beam——在Java中提供统一的数据进程管道开发，并且能够很好地支持Spark和Flink。提供很多在线框架，开发者无需学习太多框架。
1.6K31发布于 2019-01-08 - 来自专栏加米谷大数据
大数据技术分享：十大开源的大数据技术
大数据已然成为当今热门的技术之一，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点受欢迎的十大开源的大数据技术。 ? 2.Spark——使用简单、支持所有重要的大数据语言（Scala、Python、Java、R）。拥有强大的生态系统，成长迅速，对microbatching/batching/SQL支持简单。 两个最重要的特性是其强大的用户界面和良好的数据回溯工具。堪称大数据工具箱里的瑞士军刀。 ? 4.Apache Hive 2.1——Hive是建立在 Hadoop 上的数据仓库基础构架。 从Spark到NiFi再到第三方插件工具以至于Java到Scala，它都提供了强大的粘合作用。 6.Phoenix—是HBase的SQL驱动。目前大量的公司采用它，并扩大其规模。 9.Apache Beam——在Java中提供统一的数据进程管道开发，并且能够很好地支持Spark和Flink。提供很多在线框架，开发者无需学习太多框架。
1.2K30发布于 2019-04-19 - 来自专栏大数据知识
大数据5大关键处理技术
云计算技术、物联网等技术快速发展，多样化已经成为数据信息的一项显著特点，为充分发挥信息应用价值，有效存储已经成为人们关注的热点。 一）大数据面临的存储管理问题 ●存储规模大 大数据的一个显著特征就是数据量大，起始计算量单位至少是PB，甚至会采用更大的单位EB或ZB，导致存储规模相当大。 这就需要对数据的存储技术和存储模式进行创新与研究，跟上数字化存储的技术的发展步伐，给用户提供一个具有高质量的数据存储体验。 大数发掘技术，目前，还需要改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术；突破基于对象的数据连接、相似性连接等大数据融合技术；突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术 了解跟多相关 大数据培训 技术知识，欢迎关注小编。
10.8K30发布于 2021-03-12 - 来自专栏编程小白狼
Java大屏数据动态展示实现
随着大数据技术的快速发展，数据可视化成为企业决策、实时监控等场景中的重要工具。Java作为一种广泛应用的编程语言，以其强大的数据处理和可视化能力，在实现大屏数据动态展示方面发挥着重要作用。 本文将详细介绍如何使用Java及相关技术实现大屏数据的动态展示。 一、技术选型与准备 1.1 技术选型 Java JDK：用于编译和运行Java程序。 后端服务层：使用Java编写业务逻辑，通过JDBC或Spring Data JPA等技术连接数据库，通过WebSocket向前端推送实时数据。 五、总结 通过Java及其相关技术实现大屏数据动态展示，可以满足企业实时监控、数据可视化等需求。 本文介绍了系统架构设计、后端开发、前端开发、实时数据推送、测试与部署等关键步骤，为开发大屏数据动态展示系统提供了参考。开发者可以根据具体需求，灵活选择和组合相关技术，实现高效、稳定的数据可视化系统。
2.2K10编辑于 2024-12-31 - 来自专栏加米谷大数据
五大最核心的大数据技术
五大最核心的大数据技术 大数据技术有5个核心部分，分别是数据采集、数据存储、数据清洗、数据挖掘、数据可视化。关于这5个核心部分都有哪些核心技术？ 一起来了解一下吧 ? 预测分析 预测分析是一种数据挖掘方案，可在结构化和非结构化数据中使用算法和技术,进行预测、预报和模拟。许多公司利用大数据技术来收集海量数据、训练模型并发布预测模型来提高业务水平或者避免风险。 NoSQL数据库 NoSQL泛指非关系型的数据库，这种工具可以为大数据建立快速、可扩展的存储库。 数据可视化 数据可视化是成为研究数据展示、数据处理、决策分析等一系列问题的综合技术。目前正在飞速发展的虚拟现实技术也是以图形图像的可视化技术为依托的数据可视化技术。 它包含信息分析，自然语言处理和机器学习领域的大量技术创新，认知系统专门获取海量的不同类型的数据，根据信息进行推论，从自身与数据、与人们的交互中学习。
1.7K30发布于 2019-01-09 大模型技术之数据结构与算法
这些问题的解决，无一不依赖于深厚的数据结构与算法功底。 不懂这些底层逻辑，就无法真正驾驭大模型，更谈不上通过技术创新为企业创造核心价值。因此，高薪的本质是对“不确定性”的掌控力，而这种掌控力源于对算法数学原理的深刻理解。 四、创新边界：算法思维决定技术突破的上限大模型的发展已进入深水区，单纯依靠堆砌数据和扩大规模带来的边际效应正在递减。未来的突破点在于算法层面的创新：新的架构设计、新的训练范式、新的推理策略。 对于从业者而言，如果缺乏算法思维，只能跟随别人的脚步，做技术的追随者；而具备深厚算法功底的人，则有可能成为规则的制定者。 只有建立起这样坚实的地基，学生才能在快速变化的AI浪潮中站稳脚跟，不被新技术淘汰。对于个人学习者而言，无论大模型如何迭代，投入时间深耕算法永远是回报率最高的投资。
7710编辑于 2026-03-20- 来自专栏灯塔大数据
趋势 | 大数据存储领域5大突破技术
摘要：云计算打破了传统的商业模式，大数据也持续以指数型增长，技术人员和投资人对于当前技术发展趋势都保持密切关注，因为这有可能直接影响到他们2016年及今后的商业行动。 从2011年，纽约的startup公司已经成长为开发者服务的第二大云部署平台，为包括亚马逊、谷歌和微软在内的很多大型公司提供简单的、可升级的SSD云服务平台。 3 无人驾驶技术 我们已经见证了汽车技术巨大的突破：谷歌正在无人驾驶汽车技术上大步前进，而特斯拉则退出了续航里程超长、无人驾驶的电动汽车，让我们能够想象未来汽车可能类似于个人的士，受智能手机控制。 只能机器人显然非常吸引人，部分是因为它们在人性化和专业设置方面具有非常大的应用潜力。 根据甲骨文公司分析，简单的大数据挖掘工具将要有长足的发展，因为这样分析师可以直接在企业Hadoop集群上购买数据，重新调整并采用机器学习技术进行分析。
2.6K60发布于 2018-04-10 - 来自专栏编程一生
JAVA数据处理的常用技术
背景 在实际开发中，数据的处理有五种：获取、传输、存储、分析、转换。每种各对应一些常用的技术。 序列化和反序列化 序列化是将对象的信息转换为可传输或可存储形式的过程。 反射 Java反射是在运行时，对于任何一个类，都可以知道这个类有哪些方法和属性。对于任何一个对象，都能对它的方法和属性进行调用。 想实现： 小A：我要搜索美女"冰冰"AI助手：OK，搜索"冰冰"小A：想知道她的"年龄"AI助手：21岁 上面这个JAVA实现是这样的： Field field = 美女.class.getDeclaredField Spring主要的两大思想IoC和AOP。对于IoC，利用的是反射机制。而AOP使用了动态代理，当然底层也是反射。 JDK动态代理只能给有接口的类代理。 而这两项就是搜索技术的核心。大数据是建立在搜索技术基础上的。AI又是建立在大数据基础上的。可见查找和排序的核心地位。看似高深的技术也是从最底层开始。苦练基本功。
96840发布于 2019-09-26 - 来自专栏用户1880875的专栏
Java数据可视化：报表技术
简单的说：报表就是用表格、图表等格式来动态显示数据，可以用公式表示为：“报表 = 多样的格式 + 动态的数据”。 Excel报表开发一般分为两种形式： 1、为了方便操作，基于Excel的报表批量上传数据，也就是把Excel中的数据导入到系统中。 2、通过java代码生成Excel报表。 Apache POI是Apache软件基金会的开源项目，由Java编写的免费开源的跨平台的 Java API，Apache POI提供API给Java语言操作Microsoft Office的功能。 4.2、实现用户数据的导入 4.2.1、需求 把资料中的《用户导入测试数据.xlsx》文档中的数据导入到系统中， 内容如下： 数据的导入就是读取excel中的内容，转成对象插入到数据库中 4.2.2 、 最终的目标就是读取每一行数据，把数据转成用户的对象，保存到表中 实现的步骤：1、根据上传的文件创建Workbook 2、获取到第一个sheet工作表 3、从第二行开始读取数据 4、读取每一个单元格
3.3K40发布于 2021-09-06 - 来自专栏LiveEdu在线科技教育平台
2017编程趋势预测：10大技术大热，10大技术遇冷
SVG和HTML包含了一大堆标签，Web开发者使用起来往往更方便，现在还有了大的APIs，让你可以在画布对象上详细地绘画图形，通常还会提供视频卡来帮助你使用。 新的Web应用程序是从前端到有大量内容的大数据库。当Web应用程序需要信息时，它就从数据库中提取信息并将信息注入到本地的模具中。 现在没有必要使用Web附加设备所需要的所有东西来标记数据，以便创建一个网页了。数据层是完全独立于演示和格式层。 Android大热, iOS遇冷 几年前，苹果专卖店门前排起的“人龙”还记得吧？ 一些喜爱PHP的程序员在Wordpress和Facebook等地方都在争相利用即时编译器，这种曾创造出Java如此高性能解决方案的技术来执行比以前更快的PHP代码。
1.7K100发布于 2018-05-21 Java七大热门技术框架源码解析（高清完结）
参透 Java 框架本质：应对未来高并发、高可用场景的核心能力在后端开发领域，Java 框架层出不穷，从统治企业级开发多年的 Spring 全家桶，到新兴的响应式框架，技术的表象总是在快速更迭。 然而，真正能穿越技术周期的，不是对框架的机械掌握，而是对其底层逻辑的深刻洞察。面对未来日益复杂的高并发与高可用挑战，参透 Java 框架本质，已成为开发者构建核心竞争力的关键。 一、 教育重塑：从“功能实现”到“原理溯源”的思维跃迁传统的技术教育往往侧重于“怎么用”——如何快速搭建一个 Web 应用，如何连接数据库。 在高并发场景下，系统的性能瓶颈往往隐藏在框架的细节之中——一个不当的线程池配置、一次低效的数据库连接管理，都可能在流量洪峰中引发雪崩。掌握框架本质，意味着掌握了驾驭复杂架构的“底层掌控力”。 这不仅是对技术遗产的尊重，更是对团队协作中“契约精神”的践行。在人文视域下，这种素养让技术工作超越了枯燥的指令输入，成为一种构建逻辑秩序的艺术创造。
8710编辑于 2026-03-12- 来自专栏全栈程序员必看
java技术介绍_Java技术汇总
我在面试有超过3年Java经验的开发者的时候，JVM几乎就是一个必问的问题了。当然JVM不是唯一决定技术能力好坏的面试问题，但是可以佐证Java开发能力的高低。 path，Java运行的主目录等) 3.数据类型 这条没有什么好多说的，无非就是Java中的基本类型和对象类型的掌握。 在这里只是简单罗列了一下，主要的知识点包括有： 1.面向对象三大特性：封装，继承，多态;各自的定义概念，有哪些特性体现出来，各自的使用场景。 集合相关的工具类Collections等的用法 11.异常框架 异 常在Java的开发中可能没有那么被重视。一般遇到异常，直接上抛，或者随便catch一下处理之后对于程序整体运行也没有什么大的影响。 以上也只是简单介绍了Java基本知识点和技术点的一些看法和介绍， 这些内容都源自于动力节点Java学院的老师这些年来使用Java的一些总结， 希望给刚刚接触Java， 或者打算从Java开发的人一些经验
84620编辑于 2022-09-08 - 来自专栏钱塘大数据
大数据时代：十大最热门的大数据技术
随着 大数据分析 市场快速渗透到各行各业，哪些大数据技术是刚需?哪些技术有极大的潜在价值?根据弗雷斯特研究公司发布的指数，这里给出最热的十个大数据技术。 预测分析： 预测分析 是一种统计或数据挖掘解决方案，包含可在结构化和非结构化数据中使用以确定未来结果的算法和技术。可为预测、优化、预报和模拟等许多其他用途而部署。 随着现在硬件和软件解决方案的成熟，许多公司利用大数据技术来收集海量数据、训练模型、优化模型，并发布预测模型来提高业务水平或者避免风险;当前最流行的预测分析工具当属IBM公司的SPSS,SPSS这个软件大家都已经很熟悉了 数据可视化：数据可视化技术是指对各类型数据源(包括hadoop上的海量数据以及实时和接近实时的分布式数据)进行显示;当前国内外数据分析展示的产品很多，如果是企业单位以及政府单位建议使用 cognos ， 、裁剪，并共享多样化数据来加快数据分析; 数据校验：对分布式存储系统和数据库上的海量、高频率数据集进行数据校验，去除非法数据，补全缺失。
1.5K60发布于 2018-03-06 - 来自专栏云计算D1net
从十大技术和十大巨头了解大数据
着眼大数据，过去几年内产生了许多颠覆性技术，比如Hadoop、MongDB、Spark、Impala等，了解这些前沿技术还有助于你更好的把握大数据发展趋势。 大数据领域的十大开源技术 根据最新的思科全球云指数报告，预计到2017年年底，全球数据中心年均IP流量将达到7.7ZB。 作为具有开源、Java编码、分布式多个优势的数据库，Hbase最初被设计应用于Hadoop平台，而这一强大的数据管理工具，也被Facebook采用，用于管理消息平台的庞大数据。 历数大数据领域不可忽视的十大巨头 Amazon Web Services Forrester将AWS称为“云霸主”，谈到云计算领域的大数据，那就不得不提到亚马逊。 IBM 当企业考虑一些大的IT项目时，很多人首先会想到IBM。IBM是Hadoop项目的主要参与者之一，Forrester称IBM已有100多个Hadoop部署，它的很多客户都有PB级的数据。
1.3K60发布于 2018-03-16 - 来自专栏加米谷大数据
大数据的五大关键技术
大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和展现的有力武器。 一、大数据接入 1、大数据接入 已有数据接入、实时数据接入、文件数据接入、消息记录数据接入、文字数据接入、图片数据接入、视屏数据接入 2、大数据接入技术 Kafka、ActiveMQ、ZeroMQ、Flume 、Sqoop、Socket(Mina、Netty)、ftp/sftp 二、大数据存储 1、大数据存储 结构化数据存储、半结构化数据存储、非结构化数据存储 2、大数据存储技术 Hdfs、Hbase、Hive 矩形树图、平行坐标、桑基图、漏斗图、仪表盘），文字展示； 2、大数据展现技术 Echarts、Tableau 国家规划大数据产业发展战略，各行各业需要大数据技术支撑指数级的数据增量服务，越来越多的企业逐渐转型于大数据 为了应对大数据人才的缺乏，加米谷大数据培训中心制定了全流程的大数据课程，主要包括Linux、java、CentOS、mysql、HDFS、Hadoop、Hbase、Hive、Kafka、Spark、Storm
1.8K100发布于 2018-04-02 - 来自专栏hadoop学习
大快搜索数据爬虫技术实例安装教学篇
大快搜索数据爬虫技术实例安装教学篇 爬虫安装前准备工作：大快大数据平台安装完成、zookeeper、redis、elasticsearch、mysql等组件安装启动成功。 image.png 使用cd crawler 命令进入 crawler 文件夹下 image.png 使用mysql -uroot -p123456 < numysql.sql 命令添加numysql.sql数据库 启动界面之后再浏览器中输入启动界面节点的IP,来打开爬虫界面看是否启动成功(账号密码是默认的) image.png 8、启动每个节点的dkcrw.jar 命令: 主节点运行 cd /opt/dkh/dkcrw/ nohup java -jar dkcrw.jar master > dkcrw.log 2>&1 & 从节点运行 cd /opt/dkh/dkcrw/ nohup java -jar dkcrw.jar slave > 前台启动命令java -jar dkcrw.jar master/slave
77350发布于 2018-11-05 - 来自专栏灯塔大数据
4位专家解读2015大数据技术进展
2015年，整个IT技术领域发生了许多深刻而又复杂的变化。本文是大数据解读篇，在这篇文章里我们将回顾2015展望2016，看看过去的一年里广受关注的技术有哪些进展，了解下数据科学家这个职业的火热。 【回顾2015】 1 关键技术进展 Hadoop： Hadoop作为大数据平台中最基础与重要的系统，在2015年提高稳定性的同时，发布了多个重要功能与特性，这使得Hadoop朝着多类型存储介质和异构集群的方向迈进了一大步 ●Hardening Elasticsearch运行于 Java Security Manager之下，在安全性上标志着一个巨大的飞跃。 2015年Kylin的主要发展都在Streaming OLAP上，为了支持低延迟的数据刷新，从整体的架构和设计上都做了相当大的重新设计，目前已经可以支持从Kafka读取数据并进行聚合计算的能力，同时提供 Java GC的影响。
93070发布于 2018-04-10 - 来自专栏CSDN技术头条
中国大数据六大技术变迁记
集“Hadoop中国云计算大会”与“CSDN大数据技术大会”精华之大成，历届的中国大数据技术大会（BDTC）已发展成为国内事实上的行业顶尖技术盛会。 从2008年的60人Hadoop沙龙到当下的数千人技术盛宴，作为业内极具实战价值的专业交流平台，每一届的中国大数据技术大会都忠实地描绘了大数据领域内的技术热点，沉淀了行业实战经验，见证了整个大数据生态圈技术的发展与演变 大会为期三天，以推进行业应用中的大数据技术发展为主旨，拟设立“大数据基础设施”、“大数据生态系统”、“大数据技术”、“大数据应用”、“大数据互联网金融技术”、“智能信息处理”等多场主题论坛与行业峰会。 大会召开前期，特别梳理了历届大会亮点以记录中国大数据技术领域发展历程，并立足当下生态圈现状对即将召开的BDTC 2014进行展望： 追本溯源，悉大数据六大技术变迁 伴随着大数据技术大会的发展，我们亲历了中国大数据技术与应用时代的到来 立足扬帆，看2014大数据生态圈发展 时光荏苒，转眼间第2014中国大数据技术大会将如期举行。在技术日新月异的当下，2014年的BDTC上又可以洞察些什么？这里我们不妨着眼当下技术发展趋势： 1.
1.2K50发布于 2018-02-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号